Tháng 3 năm 1536, Calvin công bố ấn bản đầu tiên quyển Institutio Christianae Religionis (Nguyên lý Cơ Đốc giáo). Đây là một tác phẩm biện giáo, bảo vệ đức tin và trình bày quan điểm thần học của những nhà cải cách. Ông định dùng tác phẩm này như là sách hướng dẫn nhập môn cho những ai quan tâm đến Cơ Đốc giáo, và là sự trình bày đầu tiên về nền thần học Calvin. Suốt đời mình, Calvin cập nhật và phát hành các ấn bản mới của công trình này. Sau đó không lâu, Calvin rời Basel đến Ferrara, Ý, lưu lại trong một thời gian ngắn làm thư ký cho Hoàng tử Renée của Pháp. Tháng 6, cùng với em trai Antoine, ông trở lại Paris để giải quyết một số công việc cho cha. Chỉ dụ Coucy được ban hành ấn định hạn kỳ sáu tháng cho người dị giáo hòa giải với giáo hội, Calvin hiểu ra rằng không có chỗ cho ông ở nước Pháp. Tháng 8, ông đến Strasbourg, một thành phố tự do thuộc Đế quốc La Mã thần thánh và là nơi tị nạn cho những nhà cải cách. Do những vận động từ Pháp, Calvin bị buộc phải vòng về phía nam, dừng chân ở Geneva.

Lúc đầu, Calvin dự định chỉ qua đêm ở Geneva, nhưng William Farel, nhà cải cách người Pháp đang sống tại thành phố này, cố thuyết phục Calvin ở lại và hỗ trợ ông trong nỗ lực cải cách hội thánh – đây là bổn phận trước Chúa, Farel nhấn mạnh. Nhưng Calvin chỉ muốn được sống bình an mà không bị ai quấy rầy. Cuối cùng thì nỗ lực của Farel cũng đạt kết quả, nhưng chỉ sau khi ông ngụ ý đến sự đoán phạt nghiêm khắc nhất của Chúa. Calvin kể lại cuộc nói chuyện căng thẳng này:

Calvin chấp nhận sứ mạng mà không có điều kiện tiên quyết nào,[15] mặc dù lúc đầu chức vụ giao phó cho ông còn mơ hồ. Dần dà ông được giao nhiệm vụ "thuyết trình viên" đảm trách công việc giải nghĩa Kinh Thánh. Đến năm 1537 ông được chọn làm "quản nhiệm" mà không trải qua lần phong chức nào.[16] Lần đầu tiên, nhà thần học kiêm luật gia này nhận trách nhiệm cử hành các thánh lễ như báp têm, hôn lễ, và lễ thờ phượng.[17]

Suốt mùa thu năm 1536, trong khi Farel soạn thảo bản tín điều thì Calvin viết chuyên đề về tái tổ chức giáo hội tại Geneva. Ngày 16 tháng 1 năm 1537, Farel và Calvin trình hội đồng thành phố "Đề cương về sự tổ chức và thờ phượng của Hội thánh tại Geneva".[18] Ngay trong ngày, hội đồng đã chấp nhận văn kiện này.[19] Tuy nhiên, cũng trong năm ấy, ảnh hưởng của Calvin và Farel đối với hội đồng bị sút giảm; cùng lúc, Pháp bắt đầu quan tâm đến việc thành lập liên minh với Geneva. Rồi bùng nổ những cuộc tranh cãi về việc sử dụng bánh trong lễ Tiệc Thánh. Cuối cùng, hội đồng thành phố ra lệnh trục xuất các mục sư khỏi Geneva.[20]

Farel và Calvin đến Bern và Zurich để trình bày luận cứ của mình. Hội nghị ở Zurich cho rằng Calvin đã không hòa đồng đủ với người dân Geneva, mặc dù họ yêu cầu Bern làm trung gian để đem các mục sư trở lại Geneva, nhưng bị từ chối. Farel và Calvin đến lưu trú ở Basel. Farel nhận lời đến lãnh đạo giáo hội ở Neuchâtel, còn Calvin nhận lời mời của Martin Bucer và Wolfang Capito đến làm quản nhiệm một nhà thờ của dân Pháp tị nạn tại Strasbourg. Tháng 9 năm 1538, Calvin đến Strasbourg, vài tháng sau ông nhận quyền công dân của thành phố.[21]